Ông sinh năm 1900 trong một gia đình nhà Nho tại xã Võ Liệt, huyện Thanh Chương, tỉnh Nghệ An. Thuở nhỏ ông học ở Vinh, rồi học bậc Thành chung tại trường Quốc học Vinh, cùng với những người bạn đồng môn như Đặng Thai Mai, Nguyễn Sĩ Sách, Phạm Thiều...

Năm 1923, ông ra Hà Nội học Cao đẳng Sư phạm Đông Dương. Năm 1925, ông cùng Đặng Thai Mai, Phạm Thiều... sáng lập tổ chức Việt Nam nghĩa đoàn, tham gia đấu tranh đòi thực dân Pháp thả cụ Phan Bội Châu. Tổ chức này sau đó được thống nhất với Hội Phục Việt của Lê Văn Huân và Trần Mộng Bạch ở Vinh, và Tôn Quang Phiệt được cử làm Hội trưởng Hội Phục Việt. Hội Phục Việt đổi tên thành Hội Hưng Nam (11-1925) rồi cuối cùng là Đảng Tân Việt (1928), một trong những tổ chức tiền thân của Đảng Cộng sản Việt Nam. Tháng 6 năm 1926, ông cùng Trần Phú, Vương Thúc Oánh…sang Trung Quốc gặp các nhân vật trong Việt Nam Cách mạng đảng. Ông bị Pháp bắt ở Móng Cái, sau đó bị đem về giam tại Hà Nội. Sau một thời gian, ông được tự do, tiếp tục bí mật hoạt động và dạy tại trường trung học tư thục Thăng Long.

Năm 1927, ông tham gia Hội Việt Nam Cách mạng Thanh niên, năm 1930, gia nhập Đảng Cộng sản Việt Nam. Đầu năm 1930, ông lại bị bắt và bị kết án tù 7 năm, đày đi Buôn Ma Thuột. Năm 1934, ông ra tù, rồi bị quản thúc; xin dạy học tại một trường tư thục ở Vinh một thời gian, sau đó ông vào Huế mở trường tư thục Thuận Hoá và bắt liên lạc với phong trào cách mạng nơi đây. Từ 1936-1945, ông tham gia vào Mặt trận Dân chủ, phong trào Đông Dương đại hội, tham gia Hội truyền bá Quốc ngữ và sau đó hoạt động trong Thành bộ Việt Minh Nguyễn Tri Phương ở Huế.